19265
15465 
Jeg prøver at få RabbitMQ med Selleri og Django i gang med en EC2-instans for at lave nogle ret grundlæggende baggrundsbehandling. Jeg kører rabbitmq-server 2.5.0 på en stor EC2-forekomst.
Jeg downloadede og installerede testklienten i henhold til instruktionerne her (nederst på siden). Jeg har lige ladet testscriptet gå og får det forventede output:
recving rate: 2350 msg / s, min / avg / max latency: 588078478/588352905/588588968 mikrosekunder
recving rate: 1844 msg / s, min / avg / max latency: 588589350/588845737/589195341 microseconds
recving rate: 1562 msg / s, min / avg / max latency: 589182735/589571192/589959071 microseconds
recving rate: 2080 msg / s, min / avg / max latency: 589959557/590284302/590679611 microseconds
Problemet er, at det bruger utrolig meget CPU:
PID-BRUGER PR NI VIRT RES SHR S% CPU% MEM TID + KOMMANDO
668 kaninmq 20 0 618m 506m 2340 S 166 6,8 2: 31,53 beam.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java
Jeg testede på en mikroinstans tidligere, og det forbrugte fuldstændigt alle ressourcer på instansen.
Skal dette forventes? Gør jeg noget forkert?
Tak.
Redigere:
Den virkelige årsag til dette indlæg var, at celerybeat syntes at køre okay et stykke tid og derefter pludselig bruger alle ressourcer på systemet. Jeg installerede rabbitmq-styringsværktøjerne og har undersøgt, hvordan køerne oprettes fra selleri og fra rabbitmq-testpakken. Det forekommer mig, at selleri er forældreløs i disse køer, og at de ikke forsvinder.
Her er køen som genereret af testpakken. Der oprettes en kø, og alle beskeder går ind i den og kommer ud:
Celerybeat opretter en ny kø for hver gang den kører opgaven:
Det indstiller parameteren automatisk sletning til sand, men jeg er ikke helt sikker på, hvornår disse køer bliver slettet. De ser ud til at bare langsomt opbygge og spise ressourcer.
Har nogen en idé?
Tak.
2021-01-29 08:16:27 
Ok, jeg fandt ud af det.
Her er den relevante dokumentation:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
Gamle resultater bliver ikke renset automatisk, så du skal sørge for at forbruge resultaterne, ellers vil antallet af køer i sidste ende gå ud af kontrol. Hvis du kører RabbitMQ 2.1.1 eller højere, kan du drage fordel af argumentet x-expires til køer, som udløber køer efter en bestemt tidsfrist, efter at de ikke er brugt. Køudløbet kan indstilles (i sekunder) ved indstillingen CELERY_AMQP_TASK_RESULT_EXPIRES (ikke aktiveret som standard).
|
For at tilføje til Eric Conners løsning på sit eget problem, hedder http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices:
Ignorer resultater, du ikke vil have
Hvis du ikke er ligeglad med resultaterne af en opgave, skal du sørge for at indstille ignore_result-indstillingen, da lagring af resultater spilder tid og ressourcer.
@ app.task (ignorere_result = Sand)
def mytask (…):
noget()
Resultater kan endda deaktiveres globalt ved hjælp af indstillingen CELERY_IGNORE_RESULT.
Det sammen med Erics svar er sandsynligvis et absolut minimum best practices til styring af din backend af resultater.
Hvis du ikke har brug for en resultatbackend, skal du indstille CELERY_IGNORE_RESULT eller slet ikke indstille en resultatbackend. Hvis du har brug for en resultatbackend, skal du indstille CELERY_AMQP_TASK_RESULT_EXPIRES, der skal beskyttes mod ubrugte resultater. Hvis du ikke har brug for det til en bestemt app, skal du indstille den lokale ignorering som ovenfor.
|
Dit svar
StackExchange.ifUsing ("editor", funktion () {
StackExchange.using ("externalEditor", funktion () {
StackExchange.using ("uddrag", funktion () {
StackExchange.snippets.init ();
});
});
}, "kodestykke");
StackExchange.ready (funktion () {
var channelOptions = {
tags: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", funktion () {
// Skal redigere editoren efter uddrag, hvis uddrag er aktiveret
hvis (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("uddrag", funktion () {
createEditor ();
});
}
andet {
createEditor ();
}
});
funktion createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: falsk,
heartbeatType: 'svar',
autoActivateHeartbeat: false,
convertImagesToLinks: sand,
noModals: sandt,
showLowRepImageUploadWarning: true,
reputToPostImages: 10,
bindNavPrevention: true,
postfix: "",
imageUploader: {
brandingHtml: "Drevet af \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.61182 46.72543 4.30 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C32.44.064.014 12.6 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.545.5 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evend = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913.561.46 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.125 12.222.230 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335Z2424.266 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.9512C16.280 13.45 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.62866 8.59806 4.89966.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 6.8911.4 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291Z \ uB = c / a \ u003e ",
contentPolicyHtml: “Brugerbidrag licenseret under \ u003ca href =” https: //stackoverflow.com/help/licensing “\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =” https://stackoverflow.com / legal / indholdspolitik \ "\ u003e (indholdspolitik) \ u003c / a \ u003e",
allowUrls: sandt
},
onDemand: sandt,
discardSelector: ".discard-answer"
, straksShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Tak for dit bidrag til Stack Overflow!
Sørg for at besvare spørgsmålet. Giv detaljer og del din forskning!
Men undgå ...
At bede om hjælp, afklaring eller svar på andre svar.
At afgive udsagn baseret på mening; Sikkerhedskopier dem med referencer eller personlig erfaring.
For at lære mere, se vores tip til at skrive gode svar.
Kladde gemt
Udkast kasseret
Tilmeld dig eller log ind
StackExchange.ready (funktion () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Tilmeld dig ved hjælp af Google
Tilmeld dig via Facebook
Tilmeld dig ved hjælp af e-mail og adgangskode
Indsend
Send som gæst
Navn
E-mail
Påkrævet, men aldrig vist
StackExchange.ready (
funktion () {
StackExchange.openid.initPostLogin ('. New-post-login', 'https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-forbrugende-tons-af-cpu% 23 nyt svar', ' spørgsmålsside ');
}
);
Send som gæst
Navn
E-mail
Påkrævet, men aldrig vist
Send dit svar
Kassér
Ved at klikke på "Send dit svar" accepterer du vores servicevilkår, fortrolighedspolitik og cookiepolitik
Er det ikke det svar, du leder efter? Gennemse andre spørgsmål mærket django rabbitmq selleri, eller stil dit eget spørgsmål.